# 哔哩哔哩：https://www.bilibili.com/video/BV1ut4y1B7CX?p=37

# 代理：通过第三方的一个机器去发送请求
# 代理的作用：
#       - 突破自身 IP 访问的限制
#       - 隐藏自身真实 IP

# 代理相关的网站：
#       - 快代理
#       - 西祠代理
#       - www.goubanjia.com

# 有问题的程序 -- 未完成

import requests

if __name__ == '__main__':
    # 01. 指定 url
    #url = "https://www.baidu.com/"
    url = "http://yhdm03.com/"

    # 02. 发起请求，使用 get 方法发起 get 请求，该方法回返回一个响应对象。参数 url 表示请求相应的 url。
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36"
    }
    proxies = {
        'https': 'https://123.60.155.197:80'
    }

    resp = requests.get(url, headers=headers, proxies=proxies)  # 处理一个小小的反爬虫
#    session = requests.session()
#    session.proxies = proxies
#    session.keep_alive = False  # 关闭多余连接
#    resp = session.get(url, headers=headers)
    # 03. 获取响应数据：通过调用响应对象的 text 属性，返回响应对象中存储的字符串形式的响应数据（页面源码数据）
    resp.encoding = 'utf-8'
    page_text = resp.text
    print(resp.text)

    # 04. 持久化存储
#    with open(f'./爬取文件/01_sougou.html', mode='w', encoding='utf-8') as file:
#        file.write(resp.text)  # 读取爬到网页的源代码

    print('over')
    resp.close()


